Most research on task oriented dialog modeling is based on written text input. However, users interact with practical dialog systems often using speech as input. Typically, systems convert speech into text using an Automatic Speech Recognition (ASR) system, introducing errors. Furthermore, these systems do not address the differences in written and spoken language. The research on this topic is stymied by the lack of a public corpus. Motivated by these considerations, our goal in hosting the speech-aware dialog state tracking challenge was to create a public corpus or task which can be used to investigate the performance gap between the written and spoken forms of input, develop models that could alleviate this gap, and establish whether Text-to-Speech-based (TTS) systems is a reasonable surrogate to the more-labor intensive human data collection. We created three spoken versions of the popular written-domain MultiWoz task -- (a) TTS-Verbatim: written user inputs were converted into speech waveforms using a TTS system, (b) Human-Verbatim: humans spoke the user inputs verbatim, and (c) Human-paraphrased: humans paraphrased the user inputs. Additionally, we provided different forms of ASR output to encourage wider participation from teams that may not have access to state-of-the-art ASR systems. These included ASR transcripts, word time stamps, and latent representations of the audio (audio encoder outputs). In this paper, we describe the corpus, report results from participating teams, provide preliminary analyses of their results, and summarize the current state-of-the-art in this domain.

本文回顾了AIM 2022上压缩图像和视频超级分辨率的挑战。这项挑战包括两条曲目。轨道1的目标是压缩图像的超分辨率，轨迹〜2靶向压缩视频的超分辨率。在轨道1中，我们使用流行的数据集DIV2K作为培训，验证和测试集。在轨道2中，我们提出了LDV 3.0数据集，其中包含365个视频，包括LDV 2.0数据集（335个视频）和30个其他视频。在这一挑战中，有12支球队和2支球队分别提交了赛道1和赛道2的最终结果。所提出的方法和解决方案衡量了压缩图像和视频上超分辨率的最先进。提出的LDV 3.0数据集可在https://github.com/renyang-home/ldv_dataset上找到。此挑战的首页是在https://github.com/renyang-home/aim22_compresssr。

精神分裂症是一种慢性神经精神疾病，会引起大脑内部的不同结构改变。我们假设将深度学习应用于结构性神经影像学数据集可以检测到与疾病相关的改变，并提高分类和诊断准确性。我们使用单一可用的，常规的T1加权MRI扫描测试了这一假设，我们使用标准后处理方法从中提取了3D全脑结构。然后在三个开放数据集上开发，优化和评估了一个深度学习模型，并对精神分裂症患者进行T1加权MRI扫描。我们提出的模型优于基准模型，该模型还使用3D CNN体系结构对结构MR图像进行了训练。我们的模型几乎能够完美地（ROC曲线下的区域= 0.987），将精神分裂症患者与看不见的结构MRI扫描中的健康对照区分开。区域分析将皮质下区域和心室局部作为最预测的大脑区域。皮层结构在人类的认知，情感和社会功能中起关键作用，这些区域的结构异常与精神分裂症有关。我们的发现证实了精神分裂症与皮质下大脑结构的广泛改变有关，皮层结构信息在诊断分类中提供了突出的特征。总之，这些结果进一步证明了深度学习的潜力，以改善精神分裂症的诊断，并从单个标准的T1加权脑MRI中确定其结构性神经影像学特征。

B扫描超声模式中图像的精确和快速分类对于诊断眼部疾病至关重要。然而，在超声波中区分各种疾病仍然挑战经验丰富的眼科医生。因此，在这项工作中开发了一个新颖的对比度截面网络（CDNET），旨在应对超声图像中眼异常的细粒度图像分类（FGIC）挑战，包括眼内肿瘤（IOT），视网膜脱离（RD），后堆肥葡萄球菌（PSS）和玻璃体出血（VH）。 CDNET的三个基本组成部分分别是弱监督的病变定位模块（WSLL），对比度多Zoom（CMZ）策略和超级性对比度分解损失（HCD-LOSS）。这些组件促进了在输入和输出方面的细粒度识别的特征分离。所提出的CDNET在我们的ZJU Ocular Ultrasound数据集（Zjuuld）上进行了验证，该数据集由5213个样品组成。此外，在两个公共且广泛使用的胸部X射线FGIC基准上验证了CDNET的概括能力。定量和定性结果证明了我们提出的CDNET的功效，该CDNET在FGIC任务中实现了最新的性能。代码可在以下网址获得：https：//github.com/zeroonegame/cdnet-for-ous-fgic。

端到端的语音到语音翻译（S2ST）而不依赖中间文本表示是一个快速新兴的研究领域。最近的作品表明，这种直接S2ST系统的性能正在接近常规级联S2ST时，在可比较的数据集中进行了培训。但是，实际上，直接S2ST的性能受到配对S2ST培训数据的可用性。在这项工作中，我们探索了多种方法，用于利用更广泛的无监督和弱监督的语音和文本数据，以改善基于Translatotron 2的直接S2ST的性能2.使用我们最有效的方法，我们的最有效的方法是21号直接S2ST的平均翻译质量与没有其他数据的先前最新的训练相比，CVSS-C语料库上的语言对改善了+13.6 BLEU（OR +113％）。低资源语言的改进更加显着（平均+398％）。我们的比较研究表明，S2ST和语音表示学习的未来研究方向。

除了像素功能之外，还利用“类级”信息（例如OCR和CPNET）等最新的分割方法，在提高现有网络模块的准确性方面取得了显着的成功。但是，提取的类级信息简单地与像素功能相连，而无需明确利用以获得更好的像素表示学习。此外，这些方法基于粗蒙版预测来学习软类中心，这很容易积累错误。在本文中，旨在更有效地使用班级信息，我们提出了一种普遍的班级感知正规化（CAR）方法，以优化特征学习过程中的阶层内差异和类间距离，这是由于人类可以识别的事实而激发的。对象本身不管它出现哪个其他对象。提出了三个新颖的损失功能。第一个损失函数鼓励每个类中更紧凑的类表示，第二个损失函数直接最大化了不同类中心之间的距离，第三个进一步推动了班级中心和像素之间的距离。此外，我们方法中的班级中心是由地面真理直接产生的，而不是从容易出错的粗糙预测中产生。我们的方法可以轻松地应用于包括OCR和CPNET在内的大多数现有分割模型，并且在没有额外的推理开销的情况下可以在很大程度上提高其准确性。在多个基准数据集上进行的广泛实验和消融研究表明，所提出的汽车可以提高所有基线模型的准确性，高达2.23％MIOU，具有出色的概括能力。完整的代码可在https://github.com/edwardyehuang/car上找到。

我们介绍了CVSS，这是一种大规模的多语言对语音转换（S2ST）语料库，从21种语言覆盖了21种语言的句子级并行S2ST对。通过将Covost 2从Covost 2的翻译文本综合将翻译文本与最先进的TTS系统合成语音，源自公共语音语音语料库和COVOST 2语音到文本转换（ST）语料库。提供了两个版本的翻译演讲：1）CVSS-C：所有翻译演讲都是一种高质量的规范声音; 2）CVSS-T：翻译语音从相应的源语音传输。此外，CVSS提供标准化的翻译文本，它与翻译语音中的发音匹配。在每个版本的CVSS上，我们建立了基线多语言直接S2ST模型和Cascade S2ST模型，验证了语料库的有效性。为了构建强大的Cascade S2ST基准，我们在Covost 2上培训了St模型，这优于前一种最先进的培训，而无需额外的数据。尽管如此，直接S2ST模型的性能在从头开始训练时接近强级联基线，并且在匹配ST模型中初始化时，仅在ASR转换转换时的0.1或0.7bleu差异。

未经监督的人重新识别（重新ID）由于其解决监督重新ID模型的可扩展性问题而吸引了越来越多的关注。大多数现有的无监督方法采用迭代聚类机制，网络基于由无监督群集生成的伪标签进行培训。但是，聚类错误是不可避免的。为了产生高质量的伪标签并减轻聚类错误的影响，我们提出了一种新的群集关系建模框架，用于无监督的人重新ID。具体地，在聚类之前，基于曲线图相关学习（GCL）模块探索未标记图像之间的关系，然后将其用于聚类以产生高质量的伪标签。本，GCL适自适应地挖掘样本之间的关系迷你批次以减少培训时异常聚类的影响。为了更有效地训练网络，我们进一步提出了一种选择性对比学习（SCL）方法，具有选择性存储器银行更新策略。广泛的实验表明，我们的方法比在Market1501，Dukemtmc-Reid和MSMT17数据集上的大多数最先进的无人监督方法显示出更好的结果。我们将发布模型再现的代码。

在本文中，我们呈现VDTTS，一个视觉驱动的文本到语音模型。通过配音而激励，VDTTS利用视频帧作为伴随文本的附加输入，并生成与视频信号匹配的语音。我们展示了这允许VDTTS，与普通的TTS模型不同，产生不仅具有自然暂停和间距等韵律变化的语音，而且还与输入视频同步。实验，我们显示我们的模型产生良好的同步输出，接近地面真理的视频语音同步质量，在几个具有挑战性的基准中，包括来自VoxceleB2的“野外”内容。我们鼓励读者查看演示视频，演示视频语音同步，对扬声器ID交换和韵律的鲁棒性。

风险的准确器官（OAR）分割对于减少治疗后并发症的放射治疗至关重要。达人指南推荐头部和颈部（H＆N）区域的一套超过40桨的桨，然而，由于这项任务的可预测的禁止劳动力成本，大多数机构通过划定较小的桨子和忽视的少数，选择了大量简化的协议与其他桨相关的剂量分布。在这项工作中，我们提出了一种使用深度学习的新颖，自动化和高效的分层OAR分段（SOARS）系统，精确地描绘了一套全面的42 H＆N OAR。 SOARS将42桨分层进入锚，中级和小型和硬质子类别，通过神经结构搜索（NAS）原则，专门为每个类别提供神经网络架构。我们在内在机构中使用176名培训患者建立了SOAR模型，并在六个不同的机构中独立评估了1327名外部患者。对于每个机构评估，它始终如一地表现出其他最先进的方法至少3-5％的骰子得分（在其他度量的相对误差减少36％）。更重要的是，广泛的多用户研究明显证明，98％的SOARE预测只需要非常轻微或没有直接临床验收的修订（节省90％的辐射脑神经工作负载），并且它们的分割和剂量准确度在于或小于帧 - 用户的变化。这些调查结果证实了H＆N癌症放射疗法工作流OAR描绘过程的强烈临床适用性，提高了效率，全面性和质量。